Nyerere dilantik sebagai presiden Tanganyika African Association (TAA) tiga bulan selepas kembali ke Tanganyika,[5] atas kepetahannya bercakap serta berada dalam puak yang tidak menimbulkan rasa tidak senang hati dalam kelompok etnik Tanganyika yang pelbagai.[6] TAA mula mendatangkan kesan yang besar dalam politik setempat sejak itu dengan hasrat memerdekakan Tanganyika daripada kuasa British.[6]

Pada 7 Julai 1954, TAA berubah menjadi Tanganyika African National Union (TANU). Pengaruh parti baru ini mula berkembang serata Tanganyika sehingga meningkatnya keanggotaan dalam parti dari 100,000 orang pada 1955 menjadi 500,000 ahli setelah tahun 1957.[7][8]

Pengaruh ideologi

Ketika berkempen menenetang penjajahan, Nyerere menyatakan beliau mendapat ilham daripada prinsip di sebalik revolusi-revolusi yang berlaku di Amerika Syarikat dan Perancis,[9] serta juga pergerakan kemerdekaan India pimpinan Mohandas Gandhi[10] di mana beliau beranggapan suatu cara protes yang tidak melibatkan tindakan ganas itu berkesan dalam mencapai matalmat kemerdekaan tersebut.[11] Beliau turut memberikan sokongan dana, diplomatik serta kata semangat untuk para pejuang anti-penjajahan di selatan benua Afrika.[12]

Nyerere tidak mempunyai rasa benci menyeluruh terhadap orang Eropah dengan tanggapan bukan semua daripada mereka mempunyai rasa benci mereka terhadap orang Afrika.[13] Penglibatannya sendiri yang tidak menyisihkan berbagai-bagai bangsa dalam mengatur jalan kemerdekaan Tanganyika dilihat sangat berbeza daripada yang didokong rakan seperjuangannya di negara tersebut.[14]